# _*_ coding : utf-8 _*_
# @Time : 2025/8/8 12:30
# @Author : 二蛋
# @File : scrapy_命令符
# @project : scrapy项目

# 创建爬虫项目：scrapy startproject myspider

# 创建爬虫：scrapy genspider baidu baidu.com  (要在最里面的myspider目录下创建)
# 创建爬虫：scrapy genspider -t crawl tencent_crawl tencent.com

# 运行爬虫：scrapy crawl baidu  (要在最里面的myspider目录下运行)


# 分布式爬虫 scrapy_redis

# 1. 改造爬虫
# 1.1 导入scrapy_redis中的爬虫类
# 1.2 继承类
# 1.3 注销start_url 和 allowed_domains
# 1.4 设置redis_key获取start_urls
# 1.5 设置__init__获取允许的域

# 2. 改造配置文件
#   copy配置参数